Don't Lose the Thread: Empowering Long-Horizon LLM Agents with Cognitive Resource Self-Allocation
别丢线索：让长程 LLM Agent 自主分配认知资源
🧭 Agent 长程上下文管理 · 多 episode RL ★ 深度解读
The Chinese University of Hong Kong · Tencent · The Hong Kong University of Science and Technology
CORAL 用可调用的记忆管理与上下文重置工具，让 Agent 自主 checkpoint 并跨 episode 做 RL，GAIA 上 8B 达 42.8% 且 token 成本少 6-7 倍
📌 工作参考价值（4 点）
- 在电商/搜索的 long-horizon Agent（如导购调研、售后多跳查询、广告素材调研）中，可引入显式 Working Memory 工具：用 MM 维护“任务进度 + 已验证事实”，在上下文过大时触发 CO 清空历史只保留 memory。能显著降低线上 token 成本（本工作输入 token 减少 87.4%），并缓解长会话中模型注意力被旧上下文稀释。
- 训练数据可把 multi-episode 轨迹按上下文重置边界拆成独立对话，后续 episode 的输入 = system prompt + user task + 上一 episode 产出的 memory state；这比平铺拼接更符合推理现场，且天然教会模型“从检查点续跑”。推荐在 SFT 时对 observation tokens 做 loss mask，只学 agent 自己的 thought/action。
- 对于弱/中等开源模型，光靠 prompt 加工具可能无效甚至掉点（Qwen3-8B prompting 仅 20.4% vs ReAct 19.4%）；建议走“SFT + 简单 RL”。RL 不需要复杂信用分配：把 trajectory 最终 reward 广播到所有 episode 并池化做 group advantage（Multi-episode ARPO），即可提升 checkpointing 策略并稳定输出方差。
- 工程上注意 Memory 污染：CO 重置会永久丢弃历史中可交叉验证的证据，错误事实一旦写入且被 reset 后不可恢复。推荐 MM 写得保守、CO 只在上下文真正难管理时调用；必要时给 memory 条目保留 provenance/引用，以便后续校验。